Definimos las variables para la extracción de los datos de la pagina de Zenodo. Creamos el directorio donde se descargaran los datos y los descargamos directamente.
2022-10-16 21:24:34,809 - Process Data - INFO - Connectome_ASI_050219.xlsx downloaded
2022-10-16 21:24:37,577 - Process Data - INFO - Connectome_BIS_050219.xlsx downloaded
2022-10-16 21:24:40,005 - Process Data - INFO - Connectome_CCQN_050219.xlsx downloaded
2022-10-16 21:24:42,658 - Process Data - INFO - Connectome_CGI_050219.xlsx downloaded
2022-10-16 21:24:45,915 - Process Data - INFO - Connectome_demographics_050219.xlsx downloaded
2022-10-16 21:24:48,815 - Process Data - INFO - Connectome_DERS_050219.xlsx downloaded
2022-10-16 21:24:52,798 - Process Data - INFO - Connectome_DES_050219.xlsx downloaded
2022-10-16 21:24:55,103 - Process Data - INFO - Connectome_DIB_050219.xlsx downloaded
2022-10-16 21:24:57,451 - Process Data - INFO - Connectome_DSS4_050219.xlsx downloaded
2022-10-16 21:25:00,794 - Process Data - INFO - Connectome_instantview_050219.xlsx downloaded
2022-10-16 21:25:09,597 - Process Data - INFO - Connectome_MINI_050219.xlsx downloaded
2022-10-16 21:25:13,497 - Process Data - INFO - Connectome_SCID_050219.xlsx downloaded
2022-10-16 21:25:16,491 - Process Data - INFO - Connectome_SCL90__050219.xlsx downloaded
2022-10-16 21:25:19,190 - Process Data - INFO - Connectome_WHODAS_050219.xlsx downloaded
2022-10-16 21:25:21,636 - Process Data - INFO - participants.xlsx downloaded
Import Data
Podemos leer la información directamente del archivo excel y ejecutar algún preprocesamiento de los datos. Cabe mencionar que algunos archivos de excel pueden requerir engines específicas para leerse correctamente. Si el método read_excel no puede leerlo directamente vale la pena tratar con openxl. > Aunque la recomendación base es evitar los formatos cerrados y usar csv, csv/zipparquet, hdf5.
Code
import pathlibimport pandas as pdimport numpy as npparent_path = pathlib.Path().parent.resolve().parentdemographics_file = parent_path.joinpath('descargas', 'Connectome_demographics_050219.xlsx')demo_data = pd.read_excel(demographics_file, sheet_name="Demographics")dictionary_data = pd.read_excel(demographics_file, sheet_name="Connectome_demographics")demo_data['income'] = pd.to_numeric(demo_data.income, errors='coerce')demo_data['prof_mental'] = demo_data.prof_mental.astype('category')demo_data['support_years'] = pd.to_numeric(demo_data.support_years, errors='coerce')demo_data['work_threeyears'] = pd.to_numeric([ str(value).replace(',', '.') for value in demo_data.work_threeyears], errors='coerce')demo_data.head()
rid
group
demo
sex
age
educ
occup
income
civil_st
child
...
work_thirtydays
work_threeyears
energy_freq
energy_recent
energy_cans
laterality
ed_score
amai
amai_score
notes
0
1
1
1
1.0
41.0
7.0
7.0
20000.0
1.0
0.0
...
1.0
1.0
0.0
0.0
0.0
1.0
87.5
7.0
222.0
NaN
1
2
2
1
1.0
23.0
5.0
3.0
7100.0
6.0
0.0
...
1.0
4.0
0.0
0.0
0.0
1.0
87.5
3.0
104.0
NaN
2
3
2
1
1.0
27.0
5.0
4.0
12000.0
6.0
0.0
...
4.0
1.0
0.0
0.0
0.0
2.0
-87.5
7.0
219.0
NaN
3
4
1
1
1.0
27.0
5.0
7.0
10000.0
6.0
0.0
...
2.0
2.0
0.0
0.0
0.0
1.0
100.0
4.0
110.0
NaN
4
5
1
1
1.0
23.0
5.0
7.0
6000.0
6.0
0.0
...
2.0
4.0
0.0
0.0
0.0
1.0
100.0
3.0
94.0
NaN
5 rows × 28 columns
Herramientas EDA
Skim
La herramienta existe tanto en R como en Python y es de uso sencillo que se integra de forma transparente dentro de jupyter notebook
Code
from skimpy import skimskim(demo_data)
/home/nekrum/proyectos/datavix_lanirem/sudmex_conn/python/.env/lib/python3.10/site-packages/numpy/lib/histograms.py:906: RuntimeWarning: invalid value encountered in divide
return n/db/n.sum(), bin_edges
Esta herramienta genera un reporte html que puede insertarse mediante widgets o iframe dentro del notebook. Su interfaz esta un poco mas dearrollada y es interactiva. Ademas cuenta con una sección de asociaciones que permite revizar las relaciones entre variables.
Code
import sweetviz as svimport warningswarnings.filterwarnings('ignore')result = sv.analyze(demo_data)result.show_notebook()
Notas
Existen varios paquetes que aportan procesos similares y que van mas alla de un info() o un describe pero estas herramientas se enfocan en mostrar una vista rápida de la distribución de variables, valores faltantes y hasta relaciones entre las variables. Una herramienta que consideré incluir es pandas-profiling, puede que en una actualización lo haga, pero de momento presenta un error al cargar librerías de pandas.
Sobre Quarto
En esta prueba de concepto, la renderización de una página web a partir de este notebook a sido directa. Es decir usando los mismo paramétros que en R dentro del chunck inicial, el resultado es dificilmente diferenciable del resultado en R. Lo que me parece relevante es el hecho de que consolo insertar un chunck de codigo al inicio se puede generar un documento PDF, Word, Presentación o una página. Existen alternativas para exportar un jupyternotebook. Pero el que una herramienta funcione en ambos lenguajes y mantenga un estilo simplifica el trabajo.
NOTA: La sección de DataPrep, precede a esta sección de notas, sin embargo por la forma en que se renderea el output de DataPrep se pierde el estilo de secciones posteriores. Esto se puede resolver usando las secciones de DataPrep por separado pero salía del alcance de esta prueba de concepto.
DataPrep
Al igual que SeetViz, este paquete permite generar un reporte detallado de las variables en el dataframe. Y como bonus cuenta con algunos métodos de preprocesamiento que puede ser útil para acelerar el análisis.
Code
from dataprep.eda import create_reportcreate_report(demo_data).show()